TabFM: A Zero-Shot Foundation Model for Tabular Data
TabFM：表格数据的零样本基础模型
🧭 表格基础模型 · 零样本学习 ★ 深度解读
Google Research
400M参数表格基础模型，以in-context learning实现零样本监督预测，在TabArena 51数据集上超越AutoML与现有表格基础模型
📌 工作参考价值（4 点）
- 针对推荐/广告中的表格数据预测（CTR/CVR、用户行为特征建模），可以借鉴 TabFM 的行列解耦注意力：列向 ISAB 做 O(T·m) 跨样本聚合，行向 SAB + RoPE 做特征交互，CLS tokens 池化支持 16k 样本不爆炸，适合大规模样本 in-context 推理。
- TabFM+ 的推理期多视图增强很实用：随机列排列 + 交叉特征/SVD 特征注入 + NNLS 集成 + Platt 校准；在冻结模型权重下即可提升稳健性，可低成本迁移到现有特征工程管线。
- TabFM-Auto 思路：用 LLM 生成特征工程代码，内部闭环 CV 评分迭代，冻结主模型权重；可借鉴做推荐系统特征自动发现，如交叉特征、聚合特征、目标编码等，减少人工试错。
- 纯合成 SCM 数据训练的通用表格表示能零样本迁移，提示可以构建因果结构模拟用户/物品特征生成，减少对真实标签数据的依赖，用于冷启动或小样本场景。